ICI国际课堂分析Webinar║美国教育考试服务中心姜扬博士开讲：大规模教育评价中过程数据的应用
由华东师范大学课程与教学研究所国际课堂分析实验室主办的国际课堂分析系列网络研讨会拟邀请毕业或就职于国外知名院校的学者分享课堂分析领域最前沿的研究成果，涉及新型课堂的建构、自动化的言语与非言语分析工具、大数据的收集与应用、混合研究方法的使用等等。旨在逐步打开课堂“黑箱”，实现未来课堂教与学的范式转型。
国际课堂分析系列网络研讨会
第三期
8月26日，美国教育考试服务中心姜扬博士作客国际课堂分析系列网络研讨会第3期，作了“大规模教育评价中过程数据的应用”的主题报告。
论坛由国际课堂分析实验室副主任石雨晨副教授主持，特邀课程所崔允漷教授、杨向东教授、杨晓哲副教授对话研讨，吸引了近500位观众参会。
扫码或点击阅读原文
回看研讨会视频
姜扬博士就职于美国教育考试服务中心，担任研究员和数据科学家。本次报告主要介绍了大数据在教育领域中的应用，包括如何将教育数据挖掘和学习分析等方法应用于过程数据的分析，从而探究学生学习和应试的过程。报告进一步以全美教育进展评价(NAEP)为例，展示了通过大数据分析学生的认知及元认知过程、问题解决的方法和策略，以及预测学生的学业成就。报告还探讨了这些研究成果将如何影响线上学习平台和评价体系的设计。
姜博士以全美教育进展评价（NAEP）为例，介绍过程性教育数据在大规模教育评价中的应用。作为美国国内唯一长期的且具有全国代表性的大规模教育评价体系，NAEP主要用于评估美国中小学生在数学、阅读、科学等学科领域的知识和能力。
在初步介绍全美教育进展评价 (NAEP)后，姜博士介绍了她主持的三个课题。
第一个课题研究如何通过过程数据了解学生在答题时的认知过程及问题解决策略。研究采用了2017年NAEP的数学测评数据，这也是NAEP数学首次线上测试，获得了大量样本与数据。测试的流程包括：首先完成Tutorial，介绍如何使用测试系统；第二步完成A、B两套题目，每套题限时30分钟；最后学生完成一套关于个人信息和学习经历的问卷。
NAEP的数字化评估平台显示有多样且丰富的工具，包括便签和计算器，方便学生的使用。
姜博士以一道八年级的数字运算能力拖放题型为例，介绍过程数据分析的基本方法与原理。在此题中可以将各个数字分为起点sources和终点targets，学生需要把起点一一对应拖到终点，而不同的先后顺序代表不同的解题策略。在导出的具体数据中可以清晰地看到学生所执行的每一步骤、所用时间，通过运用过程性数据“还原”学生解题的全过程，最终获知学生的答题策略和答题过程。
随后，姜博士介绍了她的研究问题，探究学生在解题时的认知过程和问题解决策略，以及这些认知过程与策略是否与学生得分相关。研究发现，通过大规模的过程性数据能够帮助我们了解学生解题的策略是什么、有哪些，进一步分析出不同得分的学生与所采用的问题解决策略之间的关系。
姜博士指出答题行为序列长度反映了学生有无修改答案的行为。研究发现，回答正确的学生通常更少地修改答案，而答题错误的学生则多犹豫，行为反映为反复修改答案。而对于修改答案的学生，研究发现，学生往往将答案从错误改为正确。而答题反应时间透露出学生是否为猜题行为以及思考的过程，得分较高的学生在这道题上花费更多的时间进行规划和检查答案，但更少的时间执行拖放动作，这些过程性信息都是以往传统纸笔测试所无法获取的。
姜博士接着介绍了第二个课题，该项目试图回答学生如何使用计算器以及计算器的使用与学生在题目上的表现之间的关联。
在传统纸笔测试中，学生同样被允许使用计算器，但是研究人员无法得知学生是否使用以及如何使用计算器等信息，而线上工具所记录的过程数据则能破解这一难题。通过研究表明，计算器能够更好帮助学生获得正确答案，回答正确的学生更倾向于使用计算器解题，并且能更有效地使用计算器。
姜博士还通过具体的案例介绍了序列模式挖掘是什么，以及所能带来的发现。通过分析学生在计算器上的击键行为序列并将其与学生的表现相结合，可以获得更多丰富、深层、有意思的发现。
第三个课题则是从单一题目扩展到对整个测评数据的分析，并试图探究学生在大规模评价中如何使用计算器，使用强度与质量是否因题目类型而异，以及计算器的使用能否预测学生的数学能力。
数据采用了2019年NAEP八年级数据测试中的两套题。姜博士通过具体的案例说明了如何对题型进行分类，题目依据是否需要使用计算器被分为三种类型。
此后，研究团队联合学科专家制定了参考序列的标准，将这一序列标准与学生实际操作序列进行对比，可以推断出学生使用计算器的使用策略及使用效率。研究还进一步提出了四个综合评估指标，包括相似度均值、相似度标准差、效率均值以及效率标准差。
该研究发现，2019年NAEP八年级数学测试中的两套题所得出的结果是一致的，八年级学生对计算器的使用与专家的预估方式相一致，计算器的使用可以预测学生的数学能力，即学生计算器的使用情况因学业成就水平而异。此外，通过建立回归模型，研究还进一步预测了学生的学业成绩。
姜博士还提及除了数学学科的分析外，其他学科也可以通过分析过程数据，了解学生在阅读、写作等方面的学习过程和学习策略。因此，过程数据不应该被视为附带产品，而应该在设计过程中就被重视并加以系统规划与分析，以揭露学生答题行为与认知的“黑箱”，帮助教师和学生提供学习反馈，不断改进教学。值得关注的是，过程数据甚至可以用以测量一直以来难以被观察的概念，例如元认知、工具使用能力、协作能力等。
在交流互动环节，杨向东教授表示姜博士的报告引人深思，双方进一步讨论了如何使用与分析过程数据。杨晓哲副教授就大规模测评中研究团队的合作过程与改进策略与姜博士展开了深入对话。崔允漷教授、石雨晨副教授等专家学者也与姜博士展开讨论，参会的师生深受启发。
国际课堂分析系列网络研讨会第3期
END
ICI国际课堂分析Webinar║哈佛大学邓兹韵博士开讲：以论辩促理解
ICI国际课堂分析Webinar║复旦大学秦文娟博士开讲：语文课堂中的跨学科阅读理解
为课程·为学生·为未来
华东师大课程与教学研究所